Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation
音乐共创智能体的层次化自监督世界模型
🧭 层次化自监督世界模型 · 音乐生成
Department of Chemistry & Physics, Belmont University
层次化自监督表征使音乐理解与生成解耦，小模型结合流匹配实现实时可交互的共创建议
📌 工作参考价值（4 点）
- 层次化自监督表征学习可用于序列推荐：粗粒度层级对应长期兴趣（如主题、品类偏好），细粒度层级捕捉短期具体意图（如品牌、价格敏感度），JEPA 的平移等变目标可增强时序泛化，适合电商用户行为建模。
- RAE + 流匹配的轻量生成框架：可将物品 Semantic ID 经 PCA 压缩后作为条件，用流匹配生成推荐序列，层级条件丢弃技巧直接控制推荐结果的多样性与相关性平衡，无需额外采样器。
- 小模型（2.55M）CPU 推理 2.8s 的工程启示：对边缘设备或低延迟推荐 Agent 友好，可考虑用层次化浅层 Swin 编码器替代 Transformer 以压缩推理成本。
- 和弦监督头提升无监督调性检测的现象类比：在推荐中，少量有监督辅助任务（如类目预测）能显著增强无属性标签的冷启动物品表征，值得设计多任务头共享主干。